Từ năm 1941, ông tham gia Việt Minh, hoạt động trong Đoàn Thanh niên Cứu quốc. Tháng 3 năm 1945, khi Nhật đảo chính Pháp tại Đông Dương, ông là Bí thư chi bộ thanh niên cứu quốc của Thành ủy Hà Nội. Cuối tháng 7 năm 1945, ông được Xứ ủy Bắc Kỳ chỉ định làm trưởng đoàn đại biểu Hà Nội đi dự Đại hội Quốc dân Tân Trào.[4]

Tổng khởi nghĩa nổ ra, ông được cử làm Chủ nhiệm Mặt trận Việt Minh thành Hoàng Diệu, phụ trách khối tự vệ thanh niên Hà Nội.

Sau ngày Toàn quốc kháng chiến, ông được chỉ định làm Bí thư Tỉnh ủy Hà Đông (1946), sau đó đổi sang làm Bí thư Tỉnh ủy Hà Nam (1947). Năm 1948, ông được bổ nhiệm làm Chánh văn phòng Quân ủy Trung ương khi mới 24 tuổi.

Sau đó, ông lần lượt giữ các chức vụ Ủy viên Liên khu ủy Khu 3, Phó chính ủy Đại đoàn Đồng bằng, Cục trưởng Cục Địch vận, Phó trưởng ban Ban Tổ chức Trung ương.